Ông là người làng Đô Hoàng, xã Yên Thành, huyện Ý Yên, tỉnh Nam Định. Thân sinh ông là Hoàng Hồ, thi đỗ tú tài đời nhà Nguyễn, nổi tiếng chống Pháp. Điều này ảnh hưởng rất lớn đến hoạt động chính trị của ông sau này. Ngoài người cha ruột, ông còn làm con nuôi ông Phạm Bùi Cẩm ở phủ Lý Nhân, tỉnh Hà Nam.

Sinh ra trong một gia đình Nho học, nên Nhượng Tống được học chữ Hán ngay từ nhỏ, sau mới tự học thêm chữ Quốc ngữ và tiếng Pháp. Mặc dù học lực rất uyên bác, nhưng ông không có một văn bằng nào cả.